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摘 要 : 


[目的 /意义 ] 培育 优质 高 产 的 小 麦 品种 是 小 麦 育 种 的 主要 目标 ， 而 小 麦 籽粒 完整 性 直接 影响 小 麦 育种 进 


程 。 完 整 籽粒 与 破损 籽粒 的 部 分 特征 差异 较 小 ， 


Té PR 


由 基于 深度 学 习 识 别 破损 小 麦 籽 粒 精准 度 的 关键 因素 。[ 方 
法 ] 为 解决 小 麦 籽 粒 检测 精度 低 的 问题 ， 本 研究 建立 ImCascade R-CNN 模 型 ， 提 出 小 麦 籽 粒 表 形 鉴 定 方 法 ， 精 准 


检测 小 麦 籽 粒 完整 性 、 分 割 籽 粒 并 获取 完整 籽粒 表 形 参数 。[ 结 果 和 讨论 ] ImCascade R-CNN 模 型 检测 小 麦 籽 粒 完 
整 性 的 平均 精度 为 90.2%， 与 Cascade Mask R-CNN 、Deeplabv3+ 模 型 相 比 ， 能 更 好 地 识别 、 定 位 、 分 制 小 麦 籽粒 ， 


为 籽粒 表 形 参数 的 获取 提供 基础 。 该 方法 测量 粒 长 、 粒 宽 的 平均 误差 率 分 别 为 2.15% 和 3.74%， 测 量 长 宽 比 的 标 


形 数据 ， 加 速 培 育 优质 高 产 小 麦 品种 。 


准 误差 为 0.15， 与 人 工 测量 值 具 有 较 高 的 一 致 性 。[ 结 论 ] 研究 结果 可 快速 精准 检测 籽粒 完整 性 、 获 取 完 整 籽 粒 表 
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1 引 言 


小 麦 作 为 人 类 饮食 中 碳水 的 主要 来 源 ， 为 日 渐 
增长 的 人 口 提供 了 所 需 总 热量 的 20%"。 培 育 优良 
小 麦 品种 ,保障 小 麦 产 量 , 已 成 为 当前 育种 工作 者 
的 研究 重点 。 在 小 麦 育 种 中 ， 收 获 与 存储 不 当 均 易 
造成 小 麦 籽粒 破损 。 破 损 籽粒 会 直接 降低 出 苗 
率 ， 导 致 产量 减少 。 此 外 ， 粒 重 是 小 麦 产量 的 主要 
决定 因素 ， 是 提高 产量 以 保障 粮食 安全 的 关键 育种 
目标 。 小 老 闻 粒 大 小 和 形状 与 籽粒 重量 呈 显 著 正 相 
关 ， 关 注 小 麦 粒 长 、 粒 宽 等 表 形 参数 ， 也 是 引进 、 
筛选 、 评 价 种 质 资源 的 重要 依据 ”。 因 此 ， 检 测 小 
麦 籽粒 完整 性 ， 获 取 完 整 籽 粒 表 形 参数 可 从 根本 上 
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提高 育种 效率 “。 

传统 方法 对 小 麦 籽粒 外 观 、 品 质 鉴定 多 以 人 工 
检测 为 主 “ 。 这 种 方法 主观 性 强 且 费 时 费力 ,无 
法 满足 大 规模 小 麦 籽粒 快速 准确 检测 的 要 求 。 近 年 
来 ， 以 卷 积 神经 网 络 (Convolutional Neural Net- 
works, CNN) 为 代表 的 深度 学 习 技 术 发 展 迅 速 。 
CNN 被 广泛 应 用 于 图 像 识 别 领 域 ””。 相 较 于 传统 
AY OL ak at J BR, CNN 所 具有 的 特征 学 习 部 分 ， 
可 明显 提高 检测 性 能 "”"。 宋 怀 波 等 "设计 了 一 种 
YOLOv5 MDC 轻 量 型 网 络 ， 用 于 检测 重度 粘连 小 
麦 籽 粒 ， 其 平均 精度 均值 相 比 于 YOLOv5s 模 型 降 
低 0.06%， 但 其 所 占 存 储 空间 更 小 。 籽 粒 的 表 形 是 
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评价 籽粒 质量 的 标准 之 一 。 对 于 籽粒 完整 性 的 识 
yj, Huang ^E '" 将 CNN 和 迁移 学 习 引 入 籽粒 缺陷 
检测 中 ， 并 与 文 持 回 量 机 (Support Vector Ma- 
chines, SVM) 算法 进行 比较 ， 准 确 率 提 高 了 
15.8%。 祝 诗 平等 ”设计 的 基于 CNN 的 小 麦 籽粒 
完整 性 图 像 检测 系统 ， 相 较 于 SVM 和 反问 传播 
(Back Propagation, BP) 神经 网 络 所 建 模 型 gx 
完整 性 识别 准确 率 最 大 提高 5.77%。Gao 等 ”提出 
一 种 基于 Res24 D CBAM Atrous 的 小 麦 籽粒 完整 
性 检测 方法 ,检测 精度 在 原 Res34 的 基础 上 提高 
3% 一 4%， 能 够 满足 对 小 麦 外 观 品 质 的 快速 准确 评价 。 
上 述 研究 虽 进 行 小 麦 籽 粒 完整 性 识别 ， 但 均 未 能 精准 
分 制 小 麦 籽 粒 轮 廓 以 便 获取 籽粒 粒 长 和 粒 宽 参数 。 

综合 化 、 规 模 化 和 多 尺度 的 小 麦 籽 粒 外 观 、 品 
BUE E BERRA), BERT 开发 的 基 
于 图 像 分 析 的 小 麦 籽 粒 高 通 量 表 型 系统 ， 可 测量 小 
麦 籽 粒 长 径 、 短 径 、 长 宽 比 等 表 形 参数 。 市 场 上 现 
有 的 SC-M 型 籽粒 外 观 品质 分 类 识别 检测 仪 、SC-G 
自动 种 子 考 种 分 析 仪 均 不 能 识别 小 麦 籽粒 的 完整 
性 ， 且 以 籽粒 外 接 和 矩形 框 来 确定 粒 长 、 粒 宽 参 数 的 
方法 易 受 籽粒 排列 方向 影响 。 

随 着 区 域 卷 积 神经 网 络 (Region-CNN，R- 
CNN) 结构 的 出 现 ， 结 合 候选 框 检 测 器 和 区 域 分 类 
器 解决 目标 检测 问题 已 成 为 主流 "“。 为 减少 R- 
CNN 中 的 宛 余 计算 ，SPP-Net (Spatial Pyramid 
Pooling-Network) ©” fll Fast R-CNN |"! 被 引入 区 域 
特征 提取 ， 显 著 加 快 了 检测 速度 ,但 其 训练 步骤 依 
REM. Joe, Faster R-CNN ''?* 5 [ A, X dl poe [ed 
?& (Region Proposal Network, RPN), ， 进 一 步 减 少 
运行 时 间 ， 该 网 络 成 为 目标 检测 的 最 优 方案 ， 但 存 
TE RPN 接受 域 与 实际 对 象 太 度 不 匹配 问题 Cas- 
cade R-CNN 由 一 系列 经 过 不 断 提高 交 并 比 CInter- 
section over Union, IoU) 浆 值 训练 的 检测 需 组 成 ， 
避免 了 训练 时 的 过 拟 合 和 推理 时 的 质量 不 匹配 
问题 1。 

为 解决 小 麦 籽粒 完整 性 识别 精度 低 、 无 法 分 割 
籽粒 轮廓 以 及 籽粒 表 形 参数 获取 受 限 的 问题 ， 本 研 
究 通 过 对 Cascade Mask R-CNN 模型 进行 改进 ， 建 
立 ImCascade R-CNN 模型 ， 提 出 一 种 新 型 小 麦 籽粒 
表 形 鉴定 方法 。 该 方法 可 在 实现 快速 、 精 准 检测 小 


麦 籽粒 完整 性 的 同时 ， 精 准 分 割 籽粒 轮廓 并 获取 完 
整 籽粒 表 形 参数 ， 同 时 降低 了 粘连 籽粒 漏 检 率 。 所 
获取 的 参数 值 与 人 工 测 量 值 具有 较 高 一 致 性 ， 能 
满足 小 麦 考 种 需求 ， 加 速 培育 优质 高 产 小 麦 品种 。 


2 材料 与 方法 


2.1 数据 采集 


实验 数据 采集 于 山东 农业 大 学 小 麦 育 种 全 国 
重点 实验 室 ， 所 用 小 麦 品种 为 Fielder。 采 集 装 置 
如 图 1 所 示 ， 平 台 表面 为 黑色 纸板 ， 摄 像 头 选用 杰 
Ei LIE DW800 2.9 mm 型 摄像 头 ， 分 辨 率 像素 为 
800X600， 与 采集 平台 间 的 距离 固定 为 21 cm。 通 
过 采集 装置 拍摄 得 到 图 像 共 300 幅 ， 每 幅 图 片 包含 
60~120 粒 不 等 小 麦 籽粒 。 


注 : 1. 采 集 平台 ;2. 摄 像 头 ;3. 上 位 机 ;4.stm32 单 片 机 ;5.HX711 模块 ; 
6. 电 阻 应 变 式 传感器 
图 1 小 麦 籽 粒 表 形 鉴定 图 像 采 集 装 置 
Fig. 1 Image acquisition device for wheat grain phenotypic 


identification 


使 用 LabelMe 标 注 完 整 小 麦 籽 粒 和 破损 小 麦 籽 
粒 。 为 了 提升 模型 的 鲁 棒 性 ， 将 图 像 与 标签 同时 通 
过 随机 翻转 、 随 机 旋转 、 随 机 裁剪 、 增 减 亮 度 、 对 
比 度 、 增 加 高 斯 噪声 等 图 2 所 示 方 式 扩 增 数 据 集 。 
随机 选取 30 张 原 图 像 用 于 测试 ， 其 余 图 像 进行 数 
据 扩 增 至 1,620 张 ， 按照 2 : 1 的 比例 分 为 训练 集 和 
验证 集 ， 同 时 确保 每 幅 图 像 及 其 扩 增 图 像 同属 训练 
集 或 验证 集 。 
2.2 小 麦 籽 粒 表 形 鉴定 方法 

为 了 检测 小 麦 籽 粒 完整 性 ， 获 取 完 整 小 麦 籽粒 
表 形 参数 ( 粒 长 和 粒 宽 ) ， 本 研究 建立 ImCascade 
R-CNN 模型 ， 提 出 小 麦 籽 粒 表 形 鉴定 方法 。 完 整 
流程 如 图 3 所 示 。 
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(a) 随 机 翻转 (b) I Ud 37 (c) 随 机 旋转 


(e) Int 


图 2 数据 集 扩 增 方 式 展示 图 


(f) 增 减 亮度 


(d) 对 比 度 


Fig. 2 Dataset amplification mode display graph 


首先 将 小 麦 籽粒 图 像 输入 ImCascade R-CNN 模 
型 ， 提 取 小 麦 籽粒 关键 特征 ， 通 过 分 类 分 支 和 边界 
THAT, 识别 小 麦 籽 粒 完整 性 ; EDEN 


得 到 单个 小 麦 籽 粒 的 掩 码 图 ， 从 而 分 割 小 麦 籽 粒 轮 
廓 ， 最 终 获 取 网 像 中 籽粒 数量 ， 计 算 完 整 小 麦 籽粒 
粒 长 和 粒 宽 参 数 。 
2.2.1 ”小麦 籽粒 完整 性 检测 模型 

为 了 提高 破损 小 麦 籽 粒 的 检测 精准 度 ， 建 立 如 
图 4 所 示 适 用 于 小 麦 籽 粒 完整 性 检测 的 ImCascade 
R-CNN 模 型 。 该 模型 在 Cascade Mask R-CNN 模 型 
基础 上 提出 如 下 改进 策略 : 将 上 骨干 网 络 改 为 
ResNeXt， 防 止 模型 产生 梯度 弥散 和 减少 参数 量 ; 
将 激活 函数 改 为 Mish， 提 高 模型 检测 效率 和 通用 
TE; 检测 需 引 入 多 层 卷 积 结构 ， 充 分 挖掘 小 麦 籽粒 
隐藏 特征 ;采用 软 非 极 大 值 抑制 (Soft-Non Maxi- 
mum Suppression, Soft-NMS) 算法 确定 候选 框 ， 
实现 小 麦 籽 粒 粘 连 区 域 的 精准 分 割 。 


破损 识别 
^ Fie HE [o1 1 p XE 


EE RI, HR 
pe LUE 


十 一 至 
感 兴趣 区 域 


ImCascade R-CNN 卷 积 神经 网 络 
图 3 小 麦 籽 粒 表 形 鉴定 方法 流程 图 


Fig. 3 Flow chart of wheat grain phenotypic identification method 


图 4 ImCascade R-CNN 网 络 图 


Fig. 4 Network diagram of ImCascade R-CNN 


(1) 骨干 网 络 改 进 。Cascade Mask R-CNN 模 
型 采用 ResNet 网 络 结构 作为 骨干 网 络 ， 其 基本 模块 
如 图 5 (a) 所 示 ， 通 各 加 深 或 加 宽 网 络 层 数 来 提升 
模型 准确 度 ,， 但 当 ResNet 网 络 深度 较 深 、 卷 积 核 尺 
寸 较 大 或 参数 较 多 时 ， 会 增 大 模型 设计 难度 以 及 计 
算 成 本 ， 易 产生 梯度 弥散 。 为 提高 模型 对 小 麦 籽粒 
的 特征 提取 精度 ， 防 止 产生 梯度 弥散 、 减 少 参 数 
量 ， 构 建 的 InCascade R-CNN 模型 采用 group con- 
volution 的 ResNeXt 网 络 进行 特征 提取 ， 以 此 减少 


参数 量 和 计算 量 。 该 网 络 的 基本 结构 如 图 5 (b) 所 
示 ， 每 个 group 都 对 输入 进行 与 ResNet 相 同 的 张 量 
计算 ， 然 后 对 转换 后 的 各 特征 向 量 进行 拼接 ， 合 并 
后 作为 输出 结果 。 

ResNeXt 既 对 网 络 中 的 层 进 行 残 差 计算 ， 又 进 
行 了 分 割 -变换 -融合 。 该 网 络 结构 内 部 采用 分 文 策 
略 ， 选 用 一 致 的 拓扑 结构 实现 超 参 数 共 享 ， 以 组 数 
改变 分 文 数量 ， 极 大 提升 了 模型 的 可 扩展 性 及 准确 
率 。ResNeXt 的 分 割 -变换 融合 结构 如 公式 〈1) 所 示 。 
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256 通 道 输入 


(b) ResNeXt 单 元 模块 
图 5 ResNet 和 ResNeXt 网 络 基本 模块 


(a) ResNet 单 元 模块 


Fig. 5 Basic modules of ResNet and ResNeXt network 


F,=F,+ YT(F,) (1) 


其 中 ，F, 表 示 输 出 特征 ; 怀表 示 输 入 特征 ; T, 
表示 相同 的 分 文 结构 ; c 表 示 分 支 数目 (本 模型 中 
共 32 个 )。 

与 ResNet 对 比 ， 其 拓扑 结构 相同 fH 
ResNeXt 中 参数 量 更 少 ， 因 此 ResNeXt 移 植 性 更 好 ， 
同时 避免 了 特征 数据 的 过 度 拟 合 ， 适 应 性 也 更 强 。 
因此 ，ImCascade R-CNN 模 型 采用 ResNeXt 作 为 骨 
干 网 络 。 

(2) 残 差 模块 改进 。 在 深度 神经 网 络 中 ， 每 一 
层 输 入 都 是 上 一 层 的 输出 ， 下 层 节 点 由 激活 函数 对 
上 层 节 点 作用 所 得 。 在 检测 差异 较 小 的 对 象 时 ， 多 
数 情况 下 线性 模型 会 出 现 欠 拟 合 。 为 解决 此 问题 ， 
ImCascade R-CNN 模型 在 激活 函数 线性 模型 中 融合 
非 线性 因素 。 

激活 函数 可 增强 网 络 表 达能 力 ， 非 线性 激活 函 
数 可 极 大 提升 网 络 的 特征 表达 能 力 。ResNeXt 的 基 
础 残 差 块 包括 两 个 权重 层 ， 如 图 6 (a) 所 示 。 然 
而 ,位 于 主 路 径 上 的 ReLU 函数 消除 负 信 号 时 易 导 
致 信息 丢失 。 由 于 ReLU 激 活 函 数 反 问 传 播 性 能 较 
差 ， 因 此 重新 设计 残 差 模块 ， 将 注意 力 集中 在 
ResNeXt 中 的 恒 等 映射 操作 上 ， 在 整个 网 络 中 进行 
言 息 传 播 。 

残 差 模块 的 主要 分 支 为 残 差 分 文 和 标识 分 文 。 
标识 分 支 采用 ResNeXt 的 标准 块 ， 其 在 反 向 传播 中 
更 迭 较 慢 ， 因 此 修改 ResNeXt 结 构 的 残 差 分 支 ， 以 
创建 一 条 直接 路 径 来 传播 信息 并 控制 信和 号。 改进 后 
的 残 差 模块 如 图 6 (b) 所 示 ， 与 原始 的 ResNeXt 结 
构 相 比 ， 改 进 后 的 残 差 模块 不 仅 准确 度 更 高 ， 参 数 


(a) 原 始 残 差 模 块 


(b) 改 进 后 残 差 模块 
图 6 残 差 模块 改进 
Fig. 6 Improvements of Residual module 
量 和 模型 复杂 度 也 未 增加 。 

(3) 检测 器 结构 改进 。Cascade Mask R-CNN 
模型 中 先 通过 ROI Align 层 处 理 得 到 特征 层 ， 然 
后 在 检测 器 中 进行 分 类 和 回归 。 其 检测 器 结构 如 
图 7 (a) 所 示 ， 仅 包含 两 个 全 连接 层 ， 所 提取 的 图 
像 特征 直接 输入 至 全 连接 层 完成 分 类 和 回归 任务 ， 
导致 检测 器 对 目标 的 大 小 、 位 置 、 方 向 等 输入 特征 
敏感 度 较 高 ， 分 类 回归 性 能 低 、 检 测 精 度 差 。 为 解 
决 以 上 问题 ,引入 CNN 的 多 层 卷 积 结 构 ， 改 进 了 
Cascade Mask R-CNN 模型 的 检测 需 。 改 进 后 的 检 
测 器 如 图 7 (b) 所 示 ， 包 含 5 个 卷 积 层 和 1 个 全 连 
接 层 ， 在 ROI Align 层 和 全 连接 层 之 间 增 加 一 系列 
卷 积 计算 。 其 中 ， 前 端的 卷 积 层 提取 局 部 区 域 的 浅 
层 特征 ， 后 端的 卷 积 层 则 用 来 提取 更 抽象 的 深层 特 
征 。 和 多 层 卷 积 可 自动 提取 不 同 层次 的 特征 ， 充 分 挖 
掘 隐藏 特征 ， 极 大 提高 了 模型 的 检测 性 能 ， 进 而 解 
决 小 麦 籽 粒 检测 过 程 中 定位 不 准确 的 问题 。 

(4) 非 极 大 值 抑制 改进 。Cascade Mask R-CNN 
模型 中 采用 非 极 大 值 抑 制 (Non Maximum Suppres- 
sion, NMS) 算法 ， 基 于 重 共 度 1oU 值 选择 局 部 检 
测 分 数 最 高 的 候选 框 ， 确 定 目 标的 最 佳 检 测 位 置 。 
但 在 图 像 中 多 数 小 麦 籽粒 相距 较 近 甚至 粘连 ， 当 籽 
粒 的 候选 框 存在 大 部 分 重 登 时 ， 会 造成 籽粒 的 漏 
检 。 针 对 此 问题 ， 对 NMS 算法 进行 优化 ，Soft- 
NMS 算法 基于 重 麦 部 分 的 大 小 为 相 邻 候选 框 的 检 
测 分 数 设置 一 个 权重 函数 。 当 候选 框 包 与 得 分 最 高 
ABE XXE E M HY Jo U (EGER EC RES LEE uu ET, ARRETE II 
i XC Be AE le, H5 MEA EGER eg E al PE R 
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(a) 原 始 检测 器 结构 
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m l mask 
(b) 改 进 后 检测 器 结构 


图 7 检测 器 结构 改进 
Fig. 7 Improvements of detector structure 
A. Soft-NMS 的 置信 上 度 重 置 函 数 如 公式 (2) 
所 示 。 


_iou(M,b,) 
S,=se 7 (2) 


其 中 ，8% XIR RK Ye HE b, AY du DU 2) EXC; 
iou( M, b,) ez M Fil b, HY RC RE Mis >u HF, 保 
留 候 选 框 ; 当 s, < yw, 时 ， 候选 框 直 接 去 除 。 

Soft-NMS 算 法 不 需要 对 所 有 候选 框 进行 操作 ， 
计算 量 并 未 增加 。 

2.2.2 ”完整 小 麦 籽 粒 表 形 参数 获取 方法 

小 麦 籽粒 表 形 参数 是 反映 小 麦 籽粒 外 观 品 质 和 
形态 特征 的 重要 评价 指标 。 本 研究 提出 的 完整 小 麦 
籽粒 表 形 参数 获取 方法 以 小 麦 籽 粒 的 千粒重 、 粒 
长 、 粒 宽 和 长 宽 比 为 主要 研究 对 象 ， 通 过 ImCas- 
cade R-CNN 模型 对 小 麦 籽粒 完整 性 进行 检测 和 分 
制 ， 得 到 如 图 8 (b) 所 示 的 掩 码 图 ， 对 图 像 进 行 连 
通 域 标记 ， 如 图 8 (c) 所 示 。 对 于 得 到 的 单个 小 麦 
籽粒 连通 域 逐 个 进行 处 理 ， 根 据 连通 域 和 边界 特性 
来 提取 完整 小 麦 籽粒 的 表 形 参数 。 

采集 小 麦 籽粒 图 像 时 ， 为 得 到 小 麦 籽粒 的 实际 
表 形 参数 ， 放 入 大 小 为 20 mm X30 mm 的 参照 物 ， 


(a) 原 图 


(b) 掩 码 
Hs 小 麦 籽 粒 计数 过 程 


(c) 连 通 域 标记 


Fig. 8 Wheat grain counting process 


用 于 确定 固定 拍摄 距离 下 图 像 中 的 目标 长 度 与 像素 
点 个 数 的 对 应 关系 。 小 麦 籽 粒 面积 可 通过 与 参照 物 
的 比例 关系 进行 计算 。 各 个 表 形 参数 的 计算 方法 
如 下 。 

千粒重 (Thousand-Grain Weight, TGW) 表示 
一 千 粒 小 麦 籽 粒 的 重量 。 小 麦 籽粒 数量 如 图 8 所 示 
过 程 获 得 。 通 过 测量 小 麦 籽粒 样本 的 重量 并 按 比例 
进行 换算 ， 多 次 测量 取 平 均值 ， 如 公式 (3) 所 示 。 
W sain X 1000 

M 

HP, Wyn 表示 小 麦 籽 粒 重量 ， 
麦 籽粒 数量 ， 粒 。 

小 麦 籽粒 近似 形状 如 图 9， 通 过 掩 码 获 取 籽 粒 
边缘 曲线 ， 遍 历 所 有 点 得 到 两 点 间 最 远 距 离 ， 即 
连通 域内 将 粒 粒 长 ， 小 麦 籽粒 实际 粒 长 计算 如 公 
式 (4) 和 公式 (5)。 

d'= max (LG - x * yy] 


TGW = (3) 


g; M 表 示 小 


(4) 


d,=<* X d! (5) 
C, 


AP, ad,. d, 分 别 为 连通 域内 小 麦 籽 粒 粒 
长 、 实 际 小 麦 籽 粒 粒 长 ，mm; x; xX). ys yaral 
为 小 麦 籽粒 掩 人 码 边 缘 曲 线 任意 两 点 的 横 、 纵 坐标 ; 
cc; 分 别 为 图 片 中 参照 物 长 度 、 实 际 参 照 物 长 
E, mm, 

小 麦 籽粒 实际 面积 计算 如 公式 (6)， 实际 小 麦 
籽粒 粒 宽 计算 如 公式 (7)。 


Se xa, (6) 
4x S$ 

d,— Tam (7) 

其 中 ，S 表 示 实 际 小 麦 籽粒 面积 ，mmY; 5, 表 

示 参 照 物 实际 面积 600 mm^; hh, 表示 单个 小 麦 籽粒 

连通 域内 像素 点 个 数 ， 个 ; 有 ,表示 参照 物 连 通 域内 


像素 点 个 数 ， 个 ; d ,表示 实 际 小 麦 籽 粒 粒 宽 ，mm; 
n1 3.14. 


3 结果 与 分 析 


3.1 籽粒 完整 性 检测 结果 与 分 析 
3.1.1 评价 指标 
平均 均值 精度 


(Mean Average Precision, 
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图 9 小 麦 籽 粒 粒 长 、 粒 宽 示 意图 


Fig. 9 Diagram of length and width of wheat grain 


mAP) 是 目标 检测 模型 中 的 评价 指标 。 本 研究 用 其 
衡量 ImCascade R-CNN 检测 小 麦 籽 粒 完 整 性 的 能 
力 。m4P 值 越 高 ， 表 示 模 型 识别 、 定 位 性 能 越 强 。 
其 由 精确 率 (Precision, P) 和 召回 率 (Recall, R) 


估算 。 主 要 计算 如 公式 (8) —ÀX (11) 所 示 。 
TP 


PD aa (8) 
TP 

Rae Ey FN (9) 
1 

4P - | P(R)dR (10) 
0 

mAP =~ "AP (11) 


其 中 ，7P 表 示 小 麦 籽粒 被 正确 预测 为 小 麦 籽 
粒 的 数量 ,个 ; FP 表示 背景 物体 被 错误 预测 为 小 
麦 籽粒 的 数量 , 个 ; FN 表示 小 麦 籽 粒 被 错误 预测 
为 背景 物体 的 数量 ,个 ; 2 表示 类 别 数 ， 个 。 

3.1.2 ImCascade R-CNN 模型 改进 前 后 结果 对 比 

为 验证 ImCascade R-CNN 模 型 检测 性 能 ， 对 比 
了 ImCascade R-CNN 模型 与 Cascade Mask R-CNN 


模型 小 麦 完整 性 检测 结果 ， 如 图 10 所 示 ， 模 型 改 
进 前 后 均 以 候选 框框 选 小 麦 籽 粒 类 别 并 以 掩 码 形 式 
分 割 小 麦 籽粒 轮廓 ， 细 节 可 见 部 分 漏 检 现 象 。 同 
时 ， 在 测试 集中 任 选 10 张 图 像 统 计 小 麦 籽粒 识别 
结果 ， 如 表 1 所 示 。 


(a)Cascade Mask R-CNN 检 测 结 果 


(b)ImCascade R-CNN 检 测 结果 


图 10 Cascade Mask R-CNN 模型 与 ImCascade R-CNN 模 型 
的 籽粒 检测 结果 图 
Fig. 10 Grain detection results of Cascade Mask R-CNN model 
and ImCascade R-CNN model 
Cascade Mask R-CNN 模型 能 较 好 地 检测 小 麦 
籽粒 完整 性 ， 区 分 完整 小 麦 籽粒 与 破损 小 麦 籽粒 ， 
但 仍 存在 漏 检 现象 ， 其 平均 漏 检 率 为 13.4%。 漏 检 
的 主要 原因 为 : 一 是 仅 有 两 个 全 连接 层 的 检测 器 ， 


表 1 Cascade Mask R-CNN 模型 改进 前 后 的 籽粒 识别 结果 


Table 1 Results of grain recognition before and after the improvement of Cascade Mask R-CNN model 


Cascade Mask R-CNN 


ImCascade R-CNN 


序号 籽粒 数量 / 粒 
识别 籽粒 数量 / 粒 漏 检 率 /% 识别 籽粒 数量 / 粒 WIRA 
1 85 73 14.1 85 0.0 
2 87 80 8.0 87 0.0 
3 106 87 17.9 106 0.0 
4 85 74 12.9 85 0.0 
5 90 81 10.0 89 IB 
6 81 67 173 80 12 
7 65 53 18.5 65 0.0 
8 91 70 23.1 91 0.0 
9 97 82 15.5 96 1.0 
10 72 60 16.7 70 2.8 
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对 于 分 辨 率 低 的 小 麦 籽粒 定位 不 准确 ; 二 是 NMS 
算法 将 小 麦 籽粒 粘连 时 形成 的 相 邻 候选 框 的 分 数 均 
强制 归 零 ， 造 成 粘连 麦 粒 检测 失败 。 针 对 上 述 漏 检 
原因 ，ImCascade R-CNN 模 型 在 原 有 检测 器 的 基础 
上 添加 新 的 卷 积 层 ， 同 时 将 NMS 算 法 更 改 为 Soft- 


小 麦 籽 粒 的 分 类 ， 为 后 续 获 取 完 整 小 麦 籽 粒 表 形 参 
数 提供 基础 。 

为 对 比 Cascade Mask R-CNN 模型 和 ImCascade 
R-CNN 模型 对 检测 小 麦 籽 粒 完整 性 的 能 力 ， 绘 制 
了 模型 训练 时 的 Loss 曲线 图 (图 11)。Loss 曲线 图 


NMS 算 法 ,不 再 将 重合 部 分 的 相 邻 候选 框 直 接 归 
零 ， 而 是 设置 衰减 函数 保留 相 邻 候选 枉 。 由 表 1 可 
知 ，ImCascade R-CNN 模型 能 准确 检测 小 麦 籽 粒 完 
整 性 并 完成 粘连 麦 粒 的 分 制 ， 有 效 避 免 漏 检 现 象 ， 
并 且 分 割 轮 廓 更 精准 ， 实 现 对 完整 小 麦 籽 粒 与 破损 


total loss 
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(a)Cascade Mask R-CNN 模型 的 Loss 曲线 图 


可 表明 模型 是 否 收敛 、 收 敛 速 度 以 及 模型 训练 情 
况 。 由 图 11 可知， 在 同样 的 迭代 次 数 下 ，ImCas- 
cade R-CNN 模 型 收敛 速度 更 快 量 最 终 训练 的 Loss 
值 更 低 。 与 Cascade Mask R-CNN 模型 相 比 ，Im- 
Cascade R-CNN 模 型 训练 效果 更 优 。 


total loss 
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(b)ImCascade R-CNN 模型 的 Loss 曲线 图 


图 11 籽粒 识别 、 分 割 实 验 的 Cascade Mask R-CNN 模型 与 InCascade R-CNN 模型 的 Loss 曲线 图 


Fig. 11 Loss curves of Cascade Mask R-CNN model and ImCascade R-CNN model for grain recognition and segmentation experiment 


为 分 析 ImCascade R-CNN 模型 的 检测 性 能 ， 本 
研究 选取 P-R 曲线 和 mAP 50 曲线 进行 对 比 研究 。 
P-R 曲线 是 衡量 模型 检测 性 能 的 重要 指标 ， 能 够 反 
映 模 型 的 计算 精度 和 召回 率 。P-R 曲线 上 凸 程度 越 
大 ， 说 明 模 型 既 保 持 较 高 的 查 全 率 又 保持 较 高 的 查 
准 率 ， 即 模型 的 检测 性 能 越 好 。Cascade Mask R- 
CNN 模型 与 ImCascade R-CNN 模型 的 P-R 曲线 如 
图 12。 随 检测 精度 的 上 升 ，ImCascade R-CNN 模型 
召回 率 下 降 更 不 明显 ,说 明 ImCascade R-CNN 模 型 
定位 性 能 更 好 ; 随 召 回 率 的 上 升 ，ImCascade R- 
CNN 模型 精度 下 降 更 不 明显 ， 说 明 ImCascade R- 
CNN 模型 分 类 性 能 更 好 。 对 比分 析 mAP_ 50 曲线 
(图 13)，ImCascade R-CNN B7! AY mAP 5018H trj 
提升 。ImCascade R-CNN 模 型 相 比 于 Cascade Mask 
R-CNN 模型 ， 在 定位 和 分 类 两 方面 均 有 了 明显 
优势 。 

3.1.3 ”消融 实验 
为 验证 所 提出 的 InCascade R-CNN 模 型 对 小 麦 


籽粒 完整 性 检测 性 能 的 有 效 性 ， 本 实验 以 Cascade 
Mask R-CNN 模型 为 基准 模型 ， 分 别 通过 将 骨干 网 
络 更 改 为 ResNeXt、 检 测 器 引入 多 层 卷 积 (Convo- 
lution, CONV) 结构 、 增 加 Mish 为 激活 函数 以 及 
采用 Soft-NMS 算 法 4 种 模式 来 验证 模型 性 能 ， 实 验 
结果 如 表 2 所 示 。 

由 表 2 可 知 ， 在 Cascade Mask R-CNN 模 型 基础 
上 ,改进 骨干 网 络 、 增 加 Mish 为 激活 函数 、 检 测 
器 引入 多 层 卷 积 结构 以 及 采用 Soft-NMS 算法 后 ， 
模型 对 小 麦 籽粒 完整 性 的 检测 性 能 均 有 明显 提升 。 
最 终 ，ImCascade R-CNN 模 型 相 较 于 Cascade Mask 
R-CNN 模 型 的 精确 率 、 召 回 率 和 mAP_50 分 别提 升 
16.396, 17.496 和 14.5%。 基 于 此 结果 ，ImCascade 
R-CNN 模型 更 适用 于 小 麦 籽粒 的 识别 、 定 位 和 
3.1.4 不 同 模 型 性 能 对 比 实验 

为 进一步 分 析 所 建 模型 的 检测 性 能 ， 将 本 研究 
构建 的 ImCascade R-CNN 模型 与 Cascade Mask R- 
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(a) & F ResNet-101 的 Cascade Mask R-CNN 模型 P-R 曲线 
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(b)ImCascade R-CNN 模型 P-R 曲线 


图 12 籽粒 识别 、 分 割 实验 的 Cascade Mask R-CNN 模型 与 ImCascade R-CNN 模型 的 P-R 曲线 图 


Fig. 12 P-R curves of Cascade Mask R-CNN model and ImCascade R-CNN model for grain recognition and segmentation experiment 
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图 13 籽粒 识别 、 分割 实 验 的 Cascade Mask R-CNN 模型 与 
ImCascade R-CNN 模型 的 mAP_50 曲线 图 
Fig. 13 MAP. 50 curves of Cascade Mask R-CNN model and 
ImCascade R-CNN model for grain recognition and segmenta- 
tion experiment 
CNN 模 型 、Deeplabv3+ 模 型 的 语义 分 割 检 测 结果 进 
行 比较 ， 结 果 如 表 3 所 示 。 

TH EK F Cascade Mask R-CNN 模型 和 Deep- 
labv3+ 模 型 的 语义 分 割 检测 结果 ，ImCascade R- 
CNN 模型 在 精确 率 、 召 回 率 、mAP 值 上 均 有 较 高 
优势 。 综 合 结果 表明 ，ImCascade R-CNN 模型 在 小 
麦 籽粒 完整 性 识别 、 籽 粒 定位 以 及 籽粒 分 割 方面 具 
有 明显 优势 。 


3.2 表 形 参数 获取 结果 与 分 析 


完整 小 麦 籽粒 表 形 参数 获取 方法 试验 的 评价 指 
标 主要 是 参数 测量 误差 。 测 量 值 与 实际 值 一致 性 程 


表 2 改进 Cascade Mask R-CNN 模型 的 消融 实验 结果 
Table 2 The ablation results of Cascade Mask R-CNN model 


were improved 


序号 模型 精确 率 AE mAP 50 
1 Cascade Mask R-CNN 0.768 0.680 0.757 
Cascade Mask R-CNN 
2 0.859 0.711 0.806 
(ResNeXt) 
Cascade Mask R-CNN 
3 0.761 0.681 0.762 
(Mish) 
Cascade Mask R-CNN 
4 0.812 0.732 0.796 
(CONV) 
Cascade Mask R-CNN 
5 0.830 0.770 0.802 
(Soft-NMS) 
6 ImCascade R-CNN 0.931 0.854 0.902 


表 3 籽粒 识别 .分割 实验 的 不 同 模型 语义 分 割 检测 结果 对 比 
Table 3 Comparison of semantic segmentation detection results 


of different models in grain recognition and segmentation 


experiments 
模型 精确 率 召回 率 “mAP 50 
Cascade Mask R-CNN 0.768 0.680 0.757 
Deeplabv3+ 0.535 0.623 0.622 
ImCascade R-CNN 0.931 0.854 0.902 
度 用 决定 系数 RR 表示 。 


对 提出 的 表 形 参数 获取 方法 所 得 结果 与 人 工 测 
量 值 进行 比较 ， 粒 长 和 粒 宽 的 平均 误差 率 分 别 为 
2.15% 和 3.74%。 长 宽 比 的 标准 误差 为 0.15。 对 提 
出 的 小 麦 籽 粒 表 形 鉴定 方法 所 得 到 的 粒 长 、 粒 宽 进 
行 统 计 和 拟 合 ， 所 得 回归 方程 参数 如 图 14 所 示 ， 
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3X 2; i WU OR KR A FE B RP ZY HN 0.9351 和 
0.8217， 说 明 本 研究 所 提出 的 小 麦 籽 粒 表 形 鉴定 方 
法 对 小 麦 籽 粒 表 形 参数 的 测量 与 人 工 测量 值 具 有 和 较 
高 的 一 致 性 ， 能 够 满足 小 麦 考 种 的 需求 。 

is p 

ui VS 

ul MY 

Su 


(a) 粒 长 测量 结果 散 点 图 


KTI RR Wimm 


(b) 粒 宽 测 量 结果 散 点 图 


图 14 系统 测量 与 人 工 测量 结果 对 比 及 相关 性 线性 拟 合 
Fig.14 Comparison of system measurement and manual mea- 


surement results and correlation linear fitting 


4 结论 


人 工 鉴定 小 麦 籽粒 表 形 参数 效率 低 、 主 观 性 


强 。 为 实现 大 规模 小 麦 籽 粒 快速 精准 检测 ， 提 取 小 
麦 籽 粒 表 形 参数 ， 加 快 小 麦 育 种 进程 ， 本 研究 建立 


ImCascade R-CNN 模型 ， 提 出 小 麦 籽 粒 表 形 鉴定 
方法 。 

针对 Cascade Mask R-CNN 模型 检测 六 
在 的 漏 检 、 定 位 精度 低 的 问题 ，ImCascade R-CNN 
模型 改进 骨干 网 络 为 ResNeXt、 增 加 Mish 为 激活 函 
数 、 检 测 器 引入 多 层 卷 积 结构 以 及 采用 Soft-NMS 
算法 ， 对 比 原始 Cascade Mask R-CNN 模型 的 精确 
率 、 召 回 率 和 mAP 50， 分 别提 升 16.3%、17.4% 和 
14.5%。 对 比分 析 InCascade R-CNN 模型 与 Deep- 
labv3+ 模 型 ， 结 果 表 明 ，ImCascade R-CNN 模型 对 
小 麦 籽 粒 完整 性 的 平均 检测 精度 为 90.2%， 能 更 好 


过 程 中 存 


籽 识 别 、 定 位 、 分 割 小 麦 籽粒 ， 为 小 麦 表 形 参数 的 
获取 提供 基础 。 
过 小 麦 籽粒 表 形 鉴定 方法 获取 的 小 麦 籽 粒 表 

与 人 工 测 量 值 进行 对 比 ， 结 果 显 示 : 小 麦 
a 的 平均 误差 率 分 别 为 2.15% 和 
3.74%， 长 宽 比 的 标准 误差 为 0.15， 同 时 该 方法 测 
量 粒 长 、 粒 宽 的 决定 系数 分 别 为 0.9351 和 0.8217。 
充分 说 明 ， 本 研究 所 提出 的 小 麦 籽粒 表 形 鉴定 方法 
与 人 工 鉴定 具有 较 高 的 一 致 性 ， 能 够 满足 小 麦 考 种 
的 需求 ， 加 速 培育 优质 高 产 小 麦 品种 。 


利益 冲突 声明 : 本 研究 不 存在 研究 者 以 及 与 公开 
人 研究 成 果 有 关 的 利益 冲突 。 
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Identification Method of Wheat Grain Phenotype Based on 
Deep Learning of ImCascade R-CNN 


PAN Weiting, SUN Mengli, YUN Yan, LIU Ping 


( College of Mechanical and Electronic Engineering/ Intelligent Agricultural Machinery and Equipment Laboratory, Shan- 


dong Agricultural University, Taian 271000, China) 


Abstract: 
[Objective] Wheat serves as the primary source of dietary carbohydrates for the human population, supplying 2096 of the required ca- 


loric intake. Currently, the primary objective of wheat breeding is to develop wheat varieties that exhibit both high quality and high 


yield, ensuring an overall increase in wheat production. Additionally, the consideration of phenotype parameters, such as grain length 


and width, holds significant importance in the introduction, screening, and evaluation of germplasm resources. Notably, a noteworthy 


positive association has been observed between grain size, grain shape, and grain weight. Simultaneously, within the scope of wheat 


breeding, the occurrence of inadequate harvest and storage practices can readily result in damage to wheat grains, consequently lead- 


ing to a direct reduction in both emergence rate and yield. In essence, the integrity of wheat grains directly influences the wheat breed- 


ing process. Nevertheless, distinguishing between intact and damaged grains remains challenging due to the minimal disparities in cer- 
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tain characteristics, thereby impeding the accurate identification of damaged wheat grains through manual means. Consequently, this 
study aims to address this issue by focusing on the detection of wheat kernel integrity and completing the attainment of grain pheno- 
type parameters. 

[Methods] This study presented an enhanced approach for addressing the challenges of low detection accuracy, unclear segmentation 
of wheat grain contour, and missing detection. The proposed strategy involves utilizing the Cascade Mask R-CNN model and replac- 
ing the backbone network with ResNeXt to mitigate gradient dispersion and minimize the model's parameter count. Furthermore, the 
inclusion of Mish as an activation function enhanced the efficiency and versatility of the detection model. Additionally, a multilayer 
convolutional structure was introduced in the detector to thoroughly investigate the latent features of wheat grains. The Soft-NMS al- 
gorithm was employed to identify the candidate frame and achieve accurate segmentation of the wheat kernel adhesion region. Addi- 
tionally, the ImCascade R-CNN model was developed. Simultaneously, to address the issue of low accuracy in obtaining grain contour 
parameters due to disordered grain arrangement, a grain contour-based algorithm for parameter acquisition was devised. Wheat grain 
could be approximated as an oval shape, and the grain edge contour could be obtained according to the mask, the distance between the 
farthest points could be iteratively obtained as the grain length, and the grain width could be obtained according to the area. Ultimate- 
ly, a method for wheat kernel phenotype identification was put forth. The ImCascade R-CNN model was utilized to analyze wheat ker- 
nel images, extracting essential features and determining the integrity of the kernels through classification and boundary box regres- 
sion branches. The mask generation branch was employed to generate a mask map for individual wheat grains, enabling segmentation 
of the grain contours. Subsequently, the number of grains in the image was determined, and the length and width parameters of the en- 
tire wheat grain were computed. 

[Results and Discussions] In the experiment on wheat kernel phenotype recognition, a comparison and improvement were conducted 
on the identification results of the Cascade Mask R-CNN model and the ImCascade R-CNN model across various modules. Addition- 
ally, the efficacy of the model modification scheme was verified. The comparison of results between the Cascade Mask R-CNN model 
and the ImCascade R-CNN model served to validate the proposed model's ability to significantly decrease the missed detection rate. 
The effectiveness and advantages of the ImCascade R-CNN model were verified by comparing its loss value, P-R value, and mAP_50 
value with those of the Cascade Mask R-CNN model. In the context of wheat grain identification and segmentation, the detection re- 
sults of the ImCascade R-CNN model were compared to those of the Cascade Mask R-CNN and Deeplabv3+ models. The comparison 
confirmed that the ImCascade R-CNN model exhibited superior performance in identifying and locating wheat grains, accurately seg- 
menting wheat grain contours, and achieving an average accuracy of 90.2% in detecting wheat grain integrity. These findings serve as 
a foundation for obtaining kernel contour parameters. The grain length and grain width exhibited average error rates of 2.15% and 
3.74%, respectively, while the standard error of the aspect ratio was 0.15. The statistical analysis and fitting of the grain length and 
width, as obtained through the proposed wheat grain shape identification method, yielded determination coefficients of 0.9351 and 
0.8217, respectively. These coefficients demonstrated a strong agreement with the manually measured values, indicating that the meth- 
od is capable of meeting the demands of wheat seed testing and providing precise data support for wheat breeding. 

[Conclusions] The findings of this study can be utilized for the rapid and precise detection of wheat grain integrity and the acquisi- 
tion of comprehensive grain contour data. In contrast to current wheat kernel recognition technology, this research capitalizes on en- 
hanced grain contour segmentation to furnish data support for the acquisition of wheat kernel contour parameters. Additionally, the re- 
fined contour parameter acquisition algorithm effectively mitigates the impact of disordered wheat kernel arrangement, resulting in 
more accurate parameter data compared to existing kernel appearance detectors available in the market, providing data support for 


wheat breeding and accelerating the cultivation of high-quality and high-yield wheat varieties. 


Key words: wheat breeding; ImCascade R-CNN model; grain integrity; semantic segmentation; grain phenotype parameters; deep 


learning 
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